Phương pháp bayes là gì? Các nghiên cứu khoa học về Phương pháp bayes

Định nghĩa và lịch sử phát triển

Phương pháp Bayes (Bayesian inference) là cách tiếp cận thống kê dựa trên định lý Bayes, cho phép cập nhật xác suất của giả thuyết hoặc tham số khi có dữ liệu mới. Dựa trên nền tảng lý thuyết xác suất, Bayes cung cấp khung lý luận thống nhất để kết hợp thông tin tiên nghiệm (prior) với dữ liệu quan sát (likelihood) nhằm thu được phân bố hậu nghiệm (posterior).

Thomas Bayes lần đầu tiên đề xuất ý tưởng này vào nửa sau thế kỷ XVIII, nhưng phải đến đầu thế kỷ XIX, Pierre-Simon Laplace mới hệ thống hóa và phổ biến định lý. Trong suốt thế kỷ XX, phương pháp Bayes từng bị lãng quên so với thống kê tần suất (frequentist) do hạn chế về tính toán. Sự bùng nổ máy tính và thuật toán MCMC từ những năm 1990 đã đưa Bayesian inference trở lại vị trí trung tâm trong nhiều lĩnh vực từ y sinh, kinh tế đến học máy.

Phần mềm như BUGS, JAGS và đặc biệt Stan đã tạo môi trường thân thiện để phát triển mô hình Bayes phức tạp. Cộng đồng nghiên cứu ngày càng mở rộng nhờ khả năng Bayes giải quyết vấn đề về dữ liệu nhỏ, mô hình phân tầng và kết hợp kiến thức chuyên môn.

Định lý Bayes

Định lý Bayes mô tả mối quan hệ giữa xác suất tiên nghiệm, hàm khả năng và xác suất hậu nghiệm qua công thức:

$P(\theta \mid D) = \frac{P(D \mid \theta)\,P(\theta)}{P(D)},$

trong đó $\theta$ là tham số cần suy luận, $D$ là dữ liệu quan sát. $P(\theta)$ là phân bố tiên nghiệm, thể hiện kiến thức hoặc niềm tin trước khi quan sát, $P(D \mid \theta)$ là hàm khả năng, mô tả xác suất sinh mẫu dữ liệu dưới giả thiết tham số, và $P(D) = \int P(D \mid \theta)P(\theta)\,d\theta$ là hằng số chuẩn hóa đảm bảo tổng xác suất bằng 1.

Phân bố hậu nghiệm $P(\theta \mid D)$ cung cấp thông tin chi tiết về tham số sau khi đã kết hợp dữ liệu, cho phép tính toán trực tiếp các ước lượng như kỳ vọng, khoảng tin cậy và dự báo cho quan sát tương lai. Khi dữ liệu mới được cập nhật, posterior hiện tại trở thành prior cho bước tính tiếp theo, xây dựng quy trình học liên tục.

Prior, Likelihood và Posterior

Prior (P(\theta)) đóng vai trò khởi điểm, thể hiện niềm tin ban đầu về tham số hoặc giả thuyết. Prior có thể dựa trên kinh nghiệm chuyên môn, dữ liệu lịch sử hoặc được chọn phi thông tin (non-informative) để giảm thiểu thiên kiến.

Likelihood (P(D \mid \theta)) phản ánh mô hình dữ liệu: giả sử dữ liệu độc lập và tuân theo phân phối xác định, likelihood là hàm của tham số. Ví dụ, với dữ liệu đếm Poisson, likelihood có dạng $\prod_i \frac{\lambda^{y_i} e^{-\lambda}}{y_i!}$.

Posterior (P(\theta \mid D)) kết quả của Bayes, chứa thông tin cập nhật sau khi quan sát. Posterior cho phép so sánh mô hình (qua Bayes factor), tính các chỉ số rủi ro, ước lượng tham số và xây dựng dự báo. Sự minh bạch trong lựa chọn prior và likelihood giúp kiểm soát độ tin cậy và khả năng lặp lại của kết quả.

Lựa chọn Prior

Việc chọn prior ảnh hưởng mạnh đến posterior, đặc biệt khi dữ liệu ít. Prior được chia thành:

• Informative priors: dựa trên kiến thức trước, phù hợp khi có nhiều nghiên cứu tiền lệ.
• Non-informative priors: như uniform hoặc Jeffreys’ prior, nhằm giảm ảnh hưởng chủ quan.
• Conjugate priors: làm cho posterior có cùng dạng phân phối với prior, giúp tính toán nghiệm đóng. Ví dụ, Beta là conjugate prior cho Bernoulli.

Loại Prior	Ưu điểm	Nhược điểm
Informative	Tích hợp kiến thức chuyên môn	Có thể quá thiên vị
Non-informative	Trung lập, dễ chấp nhận	Posterior có thể rộng, thiếu độ chính xác
Conjugate	Tính toán nhanh, đơn giản	Chỉ áp dụng cho mô hình đơn giản

Quy trình lựa chọn prior cần cân nhắc tính chất dữ liệu, mục tiêu phân tích và khả năng lặp lại. Việc kiểm tra độ nhạy (sensitivity analysis) với nhiều prior khác nhau giúp đánh giá ảnh hưởng của giả định tiên nghiệm và tăng tính tin cậy cho kết quả posterior.

Ưu điểm và nhược điểm so với Frequentist

Ưu điểm chính của phương pháp Bayes là khả năng cung cấp phân bố xác suất trực tiếp cho tham số hoặc giả thuyết, thay vì chỉ đưa ra ước lượng điểm và khoảng tin cậy như thống kê frequentist. Điều này cho phép đánh giá không chỉ giá trị trung bình mà còn toàn bộ độ không chắc chắn qua posterior.

Bayesian inference dễ dàng tích hợp thông tin chuyên môn hoặc dữ liệu lịch sử thông qua prior, giúp cải thiện ước lượng đặc biệt khi kích thước mẫu nhỏ hoặc dữ liệu hiếm. Quy trình cập nhật lặp lại (sequential updating) cho phép mô hình học liên tục khi dữ liệu mới xuất hiện.

Nhược điểm là phụ thuộc vào lựa chọn prior – một prior không phù hợp có thể dẫn đến posterior sai lệch. Bên cạnh đó, tính toán posterior thường yêu cầu giải tích phức tạp hoặc mô phỏng MCMC tốn thời gian khi số chiều tham số lớn.

Phương pháp tính toán

Hàm posterior hiếm khi có nghiệm dạng đóng; do đó cần phương pháp xấp xỉ như MCMC (Markov Chain Monte Carlo) hoặc biến phân (Variational Inference). MCMC bao gồm Metropolis–Hastings và Gibbs sampling, cho phép sinh mẫu từ posterior thực tế qua chuỗi Markov.

Ưu điểm của MCMC là tính chính xác cao và không giới hạn loại phân phối, nhưng chi phí tính toán O(n × k) cao với n mẫu và k độ đo độ hội tụ. Gibbs sampling giản lược thành từng bước cập nhật tham số riêng rẽ khi phân phối conditional biết trước.

Variational Inference tối ưu hóa hàm mục tiêu (ELBO) để tìm phân phối xấp xỉ posterior có dạng tham số, giảm chi phí so với MCMC nhưng có thể mất thông tin đuôi (tail) và cho kết quả biased. Hamiltonian Monte Carlo (HMC) kết hợp động lực học Hamilton để di chuyển nhanh trong không gian tham số, cải thiện tốc độ hội tụ – được triển khai trong Stan và PyMC3.

Ứng dụng tiêu biểu

Trong y sinh, phương pháp Bayes được sử dụng để ước lượng hiệu quả điều trị từ thử nghiệm lâm sàng giai đoạn đầu với mẫu nhỏ, đồng thời tích hợp thông tin từ các nghiên cứu tiền lệ. Ví dụ Bayesian hierarchical model cho phép tổng hợp kết quả meta-analysis giữa nhiều thử nghiệm độc lập.

Trong machine learning, Gaussian Processes (GP) là mô hình Bayes không tham số cho hồi quy và phân loại, cung cấp phân bố dự báo cùng độ tin cậy. Bayesian Neural Networks (BNN) đưa chế độ posterior vào trọng số mạng, giảm overfitting và đo lường độ không chắc chắn đầu ra.

Trong địa thống kê, kriging Bayes sử dụng posterior distribution để nội suy giá trị tại vị trí chưa đo, đồng thời cung cấp khoảng tin cậy không gian theo hàm posterior. Tài chính sử dụng Bayesian VAR (Vector Autoregression) để dự báo chuỗi thời gian và đánh giá rủi ro thông qua posterior predictive checks.

Tiêu chí mô hình và so sánh

Để lựa chọn và so sánh mô hình Bayes, người ta dùng Bayes factor và các tiêu chí ước lượng dự báo như WAIC (Watanabe–Akaike Information Criterion) và LOO-CV (Leave-One-Out Cross-Validation). Bayes factor so sánh xác suất dữ liệu dưới hai mô hình M₁ và M₂:

$BF_{12} = \frac{P(D\mid M_1)}{P(D\mid M_2)}.$

WAIC tính toán độ phù hợp (goodness-of-fit) trừ đi độ phức tạp mô hình qua posterior variance, cho phép so sánh mô hình không cần phân phối tiên nghiệm conjugate. LOO-CV ước lượng sai số dự báo ngoài mẫu, hữu ích đánh giá khả năng khái quát hóa của mô hình.

Phương pháp mở rộng và Hierarchical Bayes

Hierarchical Bayes (mô hình phân tầng) phát triển khi dữ liệu có cấu trúc đa cấp (nested) hoặc phân nhóm. Mỗi nhóm i có tham số riêng θ_i, được giả thiết điều hòa theo prior chung hyperprior φ. Cấu trúc hai tầng cho phép chia sẻ thông tin giữa các nhóm, cải thiện ước lượng khi một số nhóm có ít dữ liệu.

Công thức điển hình cho hierarchical model:

$\begin{aligned} \theta_i &\sim P(\theta_i\mid \phi),\\ D_i &\sim P(D_i\mid \theta_i),\\ \phi &\sim P(\phi). \end{aligned}$

Ứng dụng trong education testing (ước lượng năng lực học sinh theo lớp và trường), trong marketing (ước lượng phản hồi quảng cáo theo phân khúc người dùng) và trong y tế (ước lượng tác dụng thuốc qua nhiều bệnh viện). Hierarchical Bayes dễ mở rộng thành đa tầng khi cần kết hợp nhiều mức độ phân loại khác nhau.

Tài liệu tham khảo

1. Gelman A., et al. Bayesian Data Analysis, 3rd ed., CRC Press; 2013.
2. Robert C., Casella G. Monte Carlo Statistical Methods, Springer; 2004.
3. O’Hagan A., Forster J. Bayesian Inference, 2nd ed., Kendall’s; 2004.
4. Murphy K. Machine Learning: A Probabilistic Perspective, MIT Press; 2012.
5. Stan Development Team. “Stan: A Probabilistic Programming Language.” mc-stan.org.